AI资讯新闻榜单内容搜索-Model Dist

关键词: AI新闻,翁荔,Thinking Machines,模型蒸馏,Model Distillation,在线蒸馏

今天要讲的On-Policy Distillation（同策略/在线策略蒸馏）。这是一个Thinking Machines整的新活，这个新策略既有强化学习等在线策略方法的相关性和可靠性；又具备离线策略（Off-policy）方法的数据效率。